MAPS: A Multi-Agent Personalized Script-Driven Video Advertising System Enhanced by Reinforcement Learning
MAPS：强化学习增强的多智能体个性化脚本驱动视频广告系统
🧭 多智能体广告生成与 RL 对齐 ★ 深度解读
Beihang University · Kuaishou Technology
多智能体闭环生成个性化视频广告脚本，结合 GRPO 多维奖励，在线 CTR/CVR/ARPU 显著提升
📌 工作参考价值（4 点）
- Profile Agent 用 MLLM 从异构行为序列提炼四维用户画像（topical interests、presentation style、implicit needs、decision-making tendencies），可替换传统 embedding 画像，适合 Agent 化推荐/广告系统的用户理解模块。
- 奖励函数拆成 Rule-based Structural + LLM-as-a-Judge Personalization + Product Alignment，权重 0.3/0.4/0.3；业务里生成文案/脚本/素材时可直接复用，结构合规用规则、偏好对齐和事实一致性用 LLM Judge，避免只优化 CTR 跑偏。
- SFT + GRPO 两阶段训练：SFT 冷启动学格式，RL 用组内相对优势和 KL 约束贴近 SFT；LoRA rank 32 微调 Qwen3-VL-8B。GRPO 不需要 critic，适合用 LLM-as-a-Judge 做 reward 的生成对齐任务，工程成本低。
- Reflector Agent 对线上负反馈做 profile-level vs script-level 归因，只回传 minimal revision，避免全量重新生成；适合低延迟闭环迭代，在推荐/广告系统中可把反馈打到画像或脚本局部，而不是重跑 pipeline。